Although significant progress has been made in few-shot learning, most of existing few-shot learning methods require supervised pre-training on a large amount of samples of base classes, which limits their generalization ability in real world application. Recently, large-scale self-supervised vision-language models (e.g., CLIP) have provided a new paradigm for transferable visual representation learning. However, the pre-trained VLPs may neglect detailed visual information that is difficult to describe by language sentences, but important for learning an effective classifier in few-shot classification. To address the above problem, we propose a new framework, named Semantic-guided Visual Adapting (SgVA), which can effectively extend vision-language pre-trained models to produce discriminative task-specific visual features by comprehensively using a vision-specific contrastive loss, a cross-modal contrastive loss, and an implicit knowledge distillation. The implicit knowledge distillation is designed to transfer the fine-grained cross-modal knowledge to guide the updating of the vision adapter. State-of-the-art results on 13 datasets demonstrate that the adapted visual features can well complement the cross-modal features to improve few-shot image classification.

气道分割对于检查，诊断和预后的肺部疾病至关重要，而其手动描述则不当。为了减轻这种耗时且潜在的主观手动程序，研究人员提出了从计算机断层扫描（CT）图像自动分割气道的方法。但是，一些小型气道分支（例如，支气管和终末支气管）显着加剧了通过机器学习模型的自动分割难度。特别是，气道分支中体素值和严重的数据失衡的方差使计算模块容易导致不连续和假阴性预测。注意机制表明了分割复杂结构的能力，而模糊逻辑可以减少特征表示的不确定性。因此，由模糊注意力层给出的深度注意力网络和模糊理论的整合应该是升级的解决方案。本文提出了一种有效的气道分割方法，包括一个新型的模糊注意力神经网络和全面的损失函数，以增强气道分割的空间连续性。深层模糊集由特征图中的一组体素和可学习的高斯成员功能制定。与现有的注意机制不同，所提出的特异性模糊注意力解决了不同渠道中异质特征的问题。此外，提出了一种新的评估指标来评估气道结构的连续性和完整性。该方法的效率已通过在包括精确的09和LIDC数据集在内的开放数据集上进行测试，以及我们的内部Covid-19和纤维化肺病数据集证明了这一建议的效率。

质量功能表示是实例图像检索的关键。为了实现这一目标，现有方法通常诉诸于在基准数据集上预先训练的深度模型，或者使用与任务有关的标记辅助数据集微调模型。尽管取得了有希望的结果，但这种方法受两个问题的限制：1）基准数据集和给定检索任务的数据集之间的域差距； 2）无法轻易获得所需的辅助数据集。鉴于这种情况，这项工作研究了一种不同的方法，例如以前没有得到很好的研究：{我​​们可以学习功能表示\ textit {特定于}给定的检索任务以实现出色的检索吗？}我们发现令人鼓舞。通过添加一个对象建议生成器来生成用于自我监督学习的图像区域，研究的方法可以成功地学习特定于给定数据集的特定特征表示以进行检索。通过使用数据集挖掘的图像相似性信息来提高图像相似性信息，可以使此表示更加有效。经过实验验证，这种简单的``自我监督学习 +自我促进''方法可以很好地与相关的最新检索方法竞争。进行消融研究以表明这种方法的吸引力及其对跨数据集的概括的限制。

组合推荐人（CR）系统一次在结果页面中一次将项目列表馈送给用户，其中用户行为受到上下文信息和项目的影响。 CR被称为组合优化问题，目的是最大程度地提高整个列表的建议奖励。尽管它很重要，但由于在线环境中的效率，动态和个性化要求，建立实用的CR系统仍然是一个挑战。特别是，我们将问题分为两个子问题，即列表生成和列表评估。新颖和实用的模型体系结构是为这些子问题设计的，旨在共同优化有效性和效率。为了适应在线案例，给出了形成参与者批判性增强框架的自举算法，以探索在长期用户互动中更好的推荐模式。离线和在线实验结果证明了拟议的JDREC框架的功效。 JDREC已应用于在线JD建议中，将点击率提高了2.6％，平台的合成价值提高了5.03％。我们将发布本研究中使用的大规模数据集，以为研究界做出贡献。

对比视力语言预训练（称为剪辑）为使用大型图像文本对学习视觉表示提供了新的范式。通过零拍知识转移，它在下游任务上表现出令人印象深刻的表现。为了进一步增强剪辑的适应能力，现有的方法提议微调额外的可学习模块，这大大改善了少量的性能，但引入了额外的培训时间和计算资源。在本文中，我们提出了一种无训练的适应方法，用于进行剪辑进行几个弹药分类，称为Tip-Adapter，该分类不仅继承了零拍剪辑的无训练优势，而且还与训练需要的那些相当的表现相当方法。 TIP-ADAPTER通过少数照片训练集通过键值缓存模型构造适配器，并更新通过功能检索中剪辑中编码的先验知识。最重要的是，可以通过对10 $ \ times $ \现有方法少的速度$ \ times $ $ \现有方法进行微调，这可以进一步提高Imagenet上的最先进。高效的。我们在11个数据集上进行了很少的射击分类实验，以证明我们提出的方法的优势。代码在https://github.com/gaopengcuhk/tip-adapter上发布。

现有的最先进的（SOTA）视频显着对象检测（VSOD）模型已广泛遵循短期方法，该方法通过仅考虑当前连续的有限帧而动态地确定空间和时间显着性融合之间的平衡。但是，短期方法论具有一个关键限制，这与我们视觉系统的真实机制相抵触，这是一种典型的长期方法。结果，故障案例不断出现在当前的SOTA模型的结果中，而短期方法论成为主要的技术瓶颈。为了解决这个问题，本文提出了一种新颖的VSOD方法，该方法以完整的长期方式执行了VSOD。我们的方法将顺序vSOD（一个顺序任务）转换为数据挖掘问题，即将输入视频序列分解为对象提案，然后尽可能易于挖掘出明显的对象建议。由于所有对象提案都可以同时获得，因此提出的方法是一种完整的长期方法，可以减轻植根于常规短期方法的一些困难。此外，我们设计了一个在线更新方案，该方案可以掌握显着对象的最具代表性和可信赖的模式概况，并使用丰富的细节输出框架显着图，并在空间和时间上平滑。所提出的方法在五个广泛使用的基准数据集上几乎优于所有SOTA模型。

Modern object detectors have taken the advantages of backbone networks pre-trained on large scale datasets. Except for the backbone networks, however, other components such as the detector head and the feature pyramid network (FPN) remain trained from scratch, which hinders fully tapping the potential of representation models. In this study, we propose to integrally migrate pre-trained transformer encoder-decoders (imTED) to a detector, constructing a feature extraction path which is ``fully pre-trained" so that detectors' generalization capacity is maximized. The essential differences between imTED with the baseline detector are twofold: (1) migrating the pre-trained transformer decoder to the detector head while removing the randomly initialized FPN from the feature extraction path; and (2) defining a multi-scale feature modulator (MFM) to enhance scale adaptability. Such designs not only reduce randomly initialized parameters significantly but also unify detector training with representation learning intendedly. Experiments on the MS COCO object detection dataset show that imTED consistently outperforms its counterparts by $\sim$2.4 AP. Without bells and whistles, imTED improves the state-of-the-art of few-shot object detection by up to 7.6 AP. Code is available at https://github.com/LiewFeng/imTED.

This paper describes the PASH participation in TREC 2021 Deep Learning Track. In the recall stage, we adopt a scheme combining sparse and dense retrieval method. In the multi-stage ranking phase, point-wise and pair-wise ranking strategies are used one after another based on model continual pre-trained on general knowledge and document-level data. Compared to TREC 2020 Deep Learning Track, we have additionally introduced the generative model T5 to further enhance the performance.

In recent years, interest has arisen in using machine learning to improve the efficiency of automatic medical consultation and enhance patient experience. In this article, we propose two frameworks to support automatic medical consultation, namely doctor-patient dialogue understanding and task-oriented interaction. We create a new large medical dialogue dataset with multi-level finegrained annotations and establish five independent tasks, including named entity recognition, dialogue act classification, symptom label inference, medical report generation and diagnosis-oriented dialogue policy. We report a set of benchmark results for each task, which shows the usability of the dataset and sets a baseline for future studies. Both code and data is available from https://github.com/lemuria-wchen/imcs21.

由于SAR图像中的复杂性和不规则性，合成孔径雷达（SAR）图像中的海洋油溢出的分割是一个具有挑战性的任务。在这项工作中，我们的目的是开发一种有效的分割方法，通过调查SAR图像的分布表示来解决SAR图像中的海洋漏油识别。为了寻求有效的溢油分割，我们重新求解SAR成像机制，以获得油溢SAR图像的概率分布表示，其中SAR图像的特性被适当建模。然后，我们利用分布表示来制定分割能量功能，并掺入油溢特性以引导漏油分段。此外，油泄漏分割模型包含漏油轮廓正则化术语和更新的水平集正规化术语，增强了分割能量功能的代表性。从SAR图像表示和溢油分割的同步中受益，我们所提出的方法建立了一个有效的漏油分割框架。实验评估表明了我们提出的不同类型海洋油溢出SAR图像分割的分割框架的有效性。